The key to electroencephalography (EEG)-based brain-computer interface (BCI) lies in neural decoding, and its accuracy can be improved by using hybrid BCI paradigms, that is, fusing multiple paradigms. However, hybrid BCIs usually require separate processing processes for EEG signals in each paradigm, which greatly reduces the efficiency of EEG feature extraction and the generalizability of the model. Here, we propose a two-stream convolutional neural network (TSCNN) based hybrid brain-computer interface. It combines steady-state visual evoked potential (SSVEP) and motor imagery (MI) paradigms. TSCNN automatically learns to extract EEG features in the two paradigms in the training process, and improves the decoding accuracy by 25.4% compared with the MI mode, and 2.6% compared with SSVEP mode in the test data. Moreover, the versatility of TSCNN is verified as it provides considerable performance in both single-mode (70.2% for MI, 93.0% for SSVEP) and hybrid-mode scenarios (95.6% for MI-SSVEP hybrid). Our work will facilitate the real-world applications of EEG-based BCI systems.
translated by 谷歌翻译
Transcranial temporal interference stimulation (tTIS) has been reported to be effective in stimulating deep brain structures in experimental studies. However, a computational framework for optimizing the tTIS strategy and simulating the impact of tTIS on the brain is still lacking, as previous methods rely on predefined parameters and hardly adapt to additional constraints. Here, we propose a general framework, namely multi-objective optimization via evolutionary algorithm (MOVEA), to solve the nonconvex optimization problem for various stimulation techniques, including tTIS and transcranial alternating current stimulation (tACS). By optimizing the electrode montage in a two-stage structure, MOVEA can be compatible with additional constraints (e.g., the number of electrodes, additional avoidance regions), and MOVEA can accelerate to obtain the Pareto fronts. These Pareto fronts consist of a set of optimal solutions under different requirements, suggesting a trade-off relationship between conflicting objectives, such as intensity and focality. Based on MOVEA, we make comprehensive comparisons between tACS and tTIS in terms of intensity, focality and maneuverability for targets of different depths. Our results show that although the tTIS can only obtain a relatively low maximum achievable electric field strength, for example, the maximum intensity of motor area under tTIS is 0.42V /m, while 0.51V /m under tACS, it helps improve the focality by reducing 60% activated volume outside the target. We further perform ANOVA on the stimulation results of eight subjects with tACS and tTIS. Despite the individual differences in head models, our results suggest that tACS has a greater intensity and tTIS has a higher focality. These findings provide guidance on the choice between tACS and tTIS and indicate a great potential in tTIS-based personalized neuromodulation. Code will be released soon.
translated by 谷歌翻译
部分最小二平方回归(PLSR)是一个广泛使用的统计模型,可揭示来自自变量和因变量的潜在因子的线性关系。但是,传统方法\ ql {用于求解PLSR模型通常基于欧几里得空间,并且很容易陷入局部最低限度。为此,我们提出了一种新的方法来解决部分最小平方回归,该方法通过对Bi-Grassmann歧管(PLSRBIGR)的优化命名为PLSR。 \ ql {具体来说,我们首先要杠杆}跨互联矩阵的三因素SVD型分解,定义在Bi-Grassmann歧管上,将正交约束优化问题转换为Bi-Grassmann歧管上的无约束优化问题,然后结合矩阵缩放的Riemannian预处理,以调节每次迭代中的Riemannian度量。 \ ql {plsrbigr经过验证},并通过各种实验在运动成像(MI)和稳态视觉诱发电位(SSVEP)任务中解码EEG信号。实验结果表明,PLSRBIGR在多个EEG解码任务中的表现优于竞争算法,这将极大地促进小样本数据学习。
translated by 谷歌翻译
不工会是骨科诊所面临的针对技术困难和高成本拍摄骨间毛细血管面临的挑战之一。细分容器和填充毛细血管对于理解毛细血管生长遇到的障碍至关重要。但是,现有用于血管分割的数据集主要集中在人体的大血管上,缺乏标记的毛细管图像数据集极大地限制了血管分割和毛细血管填充的方法论开发和应用。在这里,我们提出了一个名为IFCIS-155的基准数据集,由155个2D毛细管图像组成,该图像具有分割边界和由生物医学专家注释的血管填充物,以及19个大型高分辨率3D 3D毛细管图像。为了获得更好的骨间毛细血管图像,我们利用最先进的免疫荧光成像技术来突出骨间毛细血管的丰富血管形态。我们进行全面的实验,以验证数据集和基准测试深度学习模型的有效性(\ eg UNET/UNET ++和修改后的UNET/UNET ++)。我们的工作提供了一个基准数据集,用于培训毛细管图像细分的深度学习模型,并为未来的毛细管研究提供了潜在的工具。 IFCIS-155数据集和代码均可在\ url {https://github.com/ncclabsustech/ifcis-55}上公开获得。
translated by 谷歌翻译
转移学习通过利用特定源任务的数据来提高目标任务的性能:源和目标任务之间的关系越接近,通过转移学习的绩效提高越大。在神经科学中,认知任务之间的关系通常由激活的大脑区域或神经表示的相似性表示。但是,没有研究将转移学习和神经科学联系起来,以揭示认知任务之间的关系。在这项研究中,我们提出了一个转移学习框架,以反映认知任务之间的关系,并比较通过转移学习和大脑区域(例如Neurosynth)反映的任务关系。我们的转移学习结果创建了认知任务,以反映认知任务之间的关系,这与来自神经合成的任务关系非常一致。如果源和目标认知任务激活相似的大脑区域,则转移学习在任务解码方面的性能更好。我们的研究发现了多个认知任务的关系,并为基于小样本数据的神经解码转移学习中的源任务选择提供了指导。
translated by 谷歌翻译
脑电图(EEG)录音通常被伪影污染。已经开发了各种方法来消除或削弱伪影的影响。然而,大多数人都依赖于先前的分析经验。在这里,我们提出了一个深入的学习框架,以将神经信号和伪像在嵌入空间中分离并重建被称为DeepSeparator的去噪信号。 DeepSeparator采用编码器来提取和放大原始EEG中的特征,称为分解器的模块以提取趋势,检测和抑制伪像和解码器以重建去噪信号。此外,DeepSeparator可以提取伪像,这在很大程度上增加了模型解释性。通过半合成的EEG数据集和实际任务相关的EEG数据集进行了所提出的方法,建议DeepSepater在EoG和EMG伪像去除中占据了传统模型。 DeepSeparator可以扩展到多通道EEG和任何长度的数据。它可能激励深入学习的EEG去噪的未来发展和应用。 DeepSeparator的代码可在https://github.com/ncclabsustech/deepseparator上获得。
translated by 谷歌翻译
人工智能和神经科学都深受互动。人工神经网络(ANNS)是一种多功能的工具,用于研究腹侧视觉流中的神经表现,以及神经科学中的知识返回激发了ANN模型,以提高任务的性能。但是,如何将这两个方向合并到统一模型中较少研究。这里,我们提出了一种混合模型,称为深度自动编码器,具有神经响应(DAE-NR),其将来自视觉皮质的信息包含在ANN中,以实现生物和人造神经元之间的更好的图像重建和更高的神经表示相似性。具体地,对小鼠脑和DAE-NR的输入相同的视觉刺激(即自然图像)。 DAE-NR共同学会通过映射函数将编码器网络的特定层映射到腹侧视觉流中的生物神经响应,并通过解码器重建视觉输入。我们的实验表明,如果只有在联合学习,DAE-NRS可以(i)可以提高图像重建的性能,并且(ii)增加生物神经元和人工神经元之间的代表性相似性。 DAE-NR提供了一种关于计算机视觉和视觉神经科学集成的新视角。
translated by 谷歌翻译
机器学习在医学图像分析中发挥着越来越重要的作用,产卵在神经影像症的临床应用中的新进展。之前有一些关于机器学习和癫痫的综述,它们主要专注于电生理信号,如脑电图(EEG)和立体脑电图(SEENG),同时忽略癫痫研究中神经影像的潜力。 NeuroImaging在确认癫痫区域的范围内具有重要的优点,这对于手术后的前诊所评估和评估至关重要。然而,脑电图难以定位大脑中的准确癫痫病变区。在这篇综述中,我们强调了癫痫诊断和预后在癫痫诊断和预后的背景下神经影像学和机器学习的相互作用。我们首先概述癫痫诊所,MRI,DWI,FMRI和PET中使用的癫痫和典型的神经影像姿态。然后,我们在将机器学习方法应用于神经影像数据的方法:i)将手动特征工程和分类器的传统机器学习方法阐述了两种方法,即卷积神经网络和自动化器等深度学习方法。随后,详细地研究了对癫痫,定位和横向化任务等分割,本地化和横向化任务的应用,以及与诊断和预后直接相关的任务。最后,我们讨论了目前的成就,挑战和潜在的未来方向,希望为癫痫的计算机辅助诊断和预后铺平道路。
translated by 谷歌翻译
张量分解是学习多通道结构和来自高维数据的异质特征的有效工具,例如多视图图像和多通道脑电图(EEG)信号,通常由张量表示。但是,大多数张量分解方法是线性特征提取技术,它们无法在高维数据中揭示非线性结构。为了解决此类问题,已经提出了许多算法,以同时执行线性和非线性特征提取。代表性算法是用于图像群集的图形正则非负矩阵分解(GNMF)。但是,正常的2阶图只能模拟对象的成对相似性,该对象无法充分利用样品的复杂结构。因此,我们提出了一种新型方法,称为HyperGraph Narodarized非负张量分解(HyperNTF),该方法利用超图来编码样品之间的复杂连接,并采用了与最终的典型多形(CP)分解模式相对应的因子矩阵,为低维度表示。关于合成歧管,现实世界图像数据集和脑电图信号的广泛实验,表明HyperNTF在降低,聚类和分类方面优于最先进的方法。
translated by 谷歌翻译
变形自身偏移(VAES)是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而,VAE模型具有比分布(ID)输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题,认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中,我们提出了一种改进的噪声对比之前(INCP),以便能够集成到VAE的编码器中,称为INCPVAE。INCP是可扩展,可培训和与VAE兼容的,它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明,与标准VAE相比,我们的模型在OOD数据的不确定性估计方面是优越的,并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算,并解决了VAE模型中的ood问题。
translated by 谷歌翻译